Năm 1888, Pháp đã phá hủy Chùa Báo Ân để lấy đất xây bưu điện Hà Nội. Vị trí ngôi chùa cửa trước nhìn ra bờ hồ, phía sau giáp bờ sông Hồng, ngang dọc có 36 nóc nhà nhưng chỉ còn Tháp Hòa Phong phía sau chùa là còn giữ lạị.[1]

Tháp cao 3 tầng, tầng 1 có 4 cửa nên còn gọi là "tứ môn tháp", một kiến trúc thường thấy trong các công trình Phật giáo. Tầng một có 4 cửa vòm, tầng 2 có tô một chữ Phạn lớn; trên 4 vòm là tên từng cửa:

1. Báo Ân môn,
2. Báo Nghĩa môn,
3. Báo Đức môn và
4. Báo Phúc môn.

Tầng thứ ba, trên mặt đông-tây có ghi tên tháp là "Hòa Phong" nhưng 2 mặt bắc-nam lại ghi "Báo Thiên tháp".[2]